\tema{Cuadrados m\'inimos}

\intro

El m'etodo de los cuadrados m'inimos pertenece a lo que se conoce bajo el nombre
de \textit{teor'ia de la aproximaci'on}. Consid'erese el problema de estimar los 
valores de una funci'on en puntos no tabulados si contamos con los datos 
experimentales. Se intenta obener la mejor aproximaci'on lineal a estos puntos.

Cuadrados m'inimos requiere determinar la mejor l'inea de 
aproximaci'on, cuando el error es la suma de los cuadrados de las diferencias 
entre los valores de $y$ en la l'inea de aproximaci'on y los valores de $y$ dados.

Por tanto, en el caso que se aproxima con una recta, hay que encontrar las 
constantes $a_{0}$ y $a_{1}$ que reduzcan al m'inimo el error de m'inimos 
cuadrados: $E_{2}(a_{0}, a_{1}) = \sum{[y_{i} - (a_{1}x_{i} + a_{0})]^{2}}$.

Para esto, desarrollamos la expresi'on que queremos minimizar y buscamos el 
punto m'inimo utilizando las derivadas de las funci'on en las variables que 
se intentan minimizas (es decir, las $a_{i}$), de la siguiente forma:

\[
\devpar{a} = \sumatoria{i = 1}{n} 2(a \x{i} + b - \y{i}) \x{i} = 0
\]

\[
\devpar{b} = \sumatoria{i = 1}{n} 2(a \x{i} + b - \y{i}) 1 = 0
\]

De lo que obtenemos que:

\[
a \sumatoria{i = 1}{n} \x{i}^{2} + b \sumatoria{i = 1}{n} \x{i} - \sumatoria{i = 1}{n} \y{i} \x{i} = 0
\]

\[
a \sumatoria{i = 1}{n} \x{i} + b n - \sumatoria{i = 1}{n} \y{i} = 0
\]

que se conocen como ecuaciones normales.

Este procedimiento es facilmente extensible a cuando queremos aproximar usando 
un polinomio y la idea es la misma cuando se aproxima mediante otras funciones 
(exponencial por ejemplo).

Extensi'on a polinomios:

\[
Min_{a_{0}, \hdots, a_{n}} \sumatoria{i = 1}{n} (a_{0} + a_{1} \x{i} + \hdots + a_{k} \x{i}^{k} - \y{i})^{2} = Min_{a} \|\| Aa - b \|\|_{2}^{2}
\]

donde:

\[
A = \left( \begin{array}{lllcl}
            1      & x_{1} 	& x_{1}^{2}	& \hdots 	&  x_{1}^{k} 		\\
            \vdots & \vdots & \vdots 		& \vdots  & \vdots				\\
            1      & x_{n} 	& x_{n}^{2}	& \hdots 	&  x_{n}^{k}
           \end{array}
    \right)
\]

\linea
Esto de aca es super colgado (nose q es, como entra en el tema)

\[
Min_{a} \|\| Aa - b \|\|_{2}^{2}
\]

$Ax = b_{1}$ con $b_{1}$ proyecci'on de b sobre Im(A).

\linea

\typ

\prop{Siempre existe soluci'on a cML y es tal que 
\[
Ax = b_{1}
\]

con $b = b_{1} + b_{2}$, donde $b_{1} \in Im(A)$ y $b_{2} \in Null(A)$.}

\prop{La soluci'on de \CML es 'unica si y solo si las columnsa de A son li.}

\prop{
Sea x la soluci'on de \CML. Sea $r = b - Ax$, entonces:
\begin{itemize}
	\item $A^{t} r = 0 $
	\item $A^{t} A x = A^{t} b$ (ecuaciones normales)
\end{itemize}
}

\prop{
$A^{t}A$ es sim'etrica y definida positiva.
}

\subsection{M'etodos de resoluci'on}

\begin{itemize}
	\item $A^{t} A x = A^{t}b$
	\item QR. A = QR. 
	\[
	Min_{x} \|\| Ax - b \|\|_{2}^{2} = Min_{x} \|\| Q^{t}Ax - Q^{t}b \|\|_{2}^{2} = Min_{x} \|\| Rx - Q^{t}b \|\|_{2}^{2}
	\]
	\item Descomposici'on en valores singulares
\end{itemize}

\prop{
Sea $A \in \R{m}{n}, rg(A) = r \Rightarrow \exists v_{1}, \hdots, v_{n} \in \Re^{n}, u_{1}, \hdots, u_{n} \in \Re^{m} $ tal que 
\[
U^{t}AV = \left( \begin{array}{llllll}
            \sigma & 0 			& 0			 	& 0 			& 0	 			& 0		\\
            \vdots & \vdots & \vdots 	& \vdots 	& \vdots 	& 0   \\
            0      & 0 			& \sigma	& 0				& 0  			& 0		\\
            0      & 0 			& 0 			& 0 			& 0 			& 0 	\\
            0      & 0 	 		& 0 			& 0 			& \vdots 	& 0 	\\
            0      & 0 	 		& 0 			& 0 			& 0 			& 0
           \end{array}
    \right)
\]
}